Khi quân Đức bắt đầu Chiến dịch Barbarossa tấn công Liên Xô ngày 22 tháng 6 năm 1941, Meretskov đang là thành viên của Tổng hành dinh (STAVKA) và có trách nhiệm lập kế hoạch chặn bước tiến của người Đức. Đến tháng 8 ông được cử làm phái viên của Tổng hành dinh ở Phương diện quân Tây Bắc, nhưng chỉ một tháng sau ông bị Lavrentiy Pavlovich Beria, người đứng đầu cơ quan an ninh Xô viết NKVD, buộc tội là phản quốc. Meretskov bị bắt và giam cho đến tháng 10 thì được minh oan và hồi phục chức vụ vì lúc này Stalin đang rất cần các chỉ huy có khả năng cho tiền tuyến.

Meretskov được cử làm Tư lệnh Tập đoàn quân số 4 có nhiệm vụ bảo vệ Leningrad chống lại sự tấn công của Cụm tập đoàn quân Bắc do tướng Wilhelm Ritter von Leeb chỉ huy. Vận dụng chiến thuật phòng thủ chủ động và liên tục phản công, Meretskov đã làm quân Đức sa lầy và đến ngày 10 tháng 12 năm 1941 thì Hồng quân do ông chỉ huy đã chiếm lại được Tikhvin. Đến ngày 30 tháng 12, Meretskov đã đẩy được đội quân của Leeb về vị trí trước khi tấn công Tikhvin, theo nhà Sử học David Glantz thì đây là lần đầu tiên trong Chiến tranh thế giới thứ hai ý tưởng về chiến tranh chớp nhoáng (blitzkrieg) của người Đức bị thất bại, và chiến thắng này của Hồng quân đã dự đoán trước thắng lợi của Trận Moskva, 1941. Trận Tikhvin còn có ý nghĩa quan trọng trong việc phòng thủ Moskva khi thay vì gửi quân đội đến thủ đô Liên bang Xô viết, Cụm tập đoàn quân Bắc của Đức Quốc xã đã phải bố trí lại ở hướng Leningrad cùng với nhiều đơn vị khác ban đầu cũng được người Đức dự định dành cho mặt trận Moskva.

Tháng 12 năm 1941 Meretskov được cử làm Tư lệnh Phương diện quân Volkhov mới được thành lập ở phía Bắc, ông giữ vị trí này đến tháng 2 năm 1944. Phương diện quân của Meretskov đã thành công trong việc ngăn bước tiến của quân Đức lên phía Bắc và không cho người Đức bao vây hoàn toàn thành phố Leningrad. Trong phần lớn thời gian của Chiến tranh giữ nước vĩ đại, Phương diện quân Volkhov do Meretskov chỉ huy đã cùng Phương diện quân Leningrad do Leonid Aleksandrovich Govorov chỉ huy, đã tiến hành nhiều chiến dịch nhằm phá vỡ vòng vây của quân Đức với thành phố Leningrad. Cuối cùng vào tháng 1 năm 1943, hai đơn vị này đã hội quân được với nhau ở gần Siniavino. Với sự tăng cường tiếp viện về lực lượng và khí tài, Govorov và Meretskov đã mở một loạt cuộc tấn công nhằm đẩy lùi quân Đức và phá vỡ vòng vây cho thành phố. Nhiệm vụ này cuối cùng được hoàn thành với chiến dịch tấn công chiến lược Leningrad-Novgorod vào tháng 1 năm 1944.

Từ tháng 2 năm 1944, Meretskov được chuyển sang làm Tư lệnh Phương diện quân Karelia ở cực Bắc Liên Xô. Tại đây, một lần nữa lực lượng của ông cùng Phương diện quân Leningrad do Govorov chỉ huy đã hiệp đồng tác chiến trong chiến dịch tấn công quân đội Phần Lan để buộc nước này phải rút khỏi chiến tranh. Tuy gặp rất nhiều khó khăn bởi sự phòng thủ của đối phương, chiến dịch cuối cùng cũng đạt được mục đích là buộc người Phần Lan phải ký hiệp ước hòa bình. Đến tháng 10, Meretskov được lệnh quét sạch người Đức khỏi thành phố Petsamo phía Bắc Phần Lan và đẩy đội quân này về phía Na Uy. Với những kiến thức về chiến tranh ở vùng cực, Meretskov đã mở Chiến dịch Petsamo-Kirkenes và hoàn thành nhiệm vụ được giao. Sau cuộc tấn công này ông được thăng cấp lên Nguyên soái Liên Xô ngày 26 tháng 10 năm 1944.

Vị trí chỉ huy cuối cùng của Meretskov trong chiến tranh là Tư lệnh Phương diện quân Viễn Đông 1 tham gia Chiến dịch Mãn Châu Lý, lực lượng của Meretskov đã đóng góp vào chiến thắng chung của Hồng quân trước đội quân Quan Đông của Nhật Bản.